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Аналіз елементів дактильної жестової мови 


Метою даного дослідження є розробка та реалізація алгоритмів розпізнавання дактильної жестової 
мови, що використовується при спілкуванні з людьми з вадами слуху. В роботі розширюється та 
деталізується схема класифікації окремих елементів дактильної мови, розглядаються та описуються 
методи побудови контуру елемента дактильної мови. 


Вступ 1 постановка задачі 


В наш час постає проблема щодо забезпечення комунікації людей з вадами слуху 
з іншими представниками суспільства, що потребує розробки систем моделювання 
та розпізнавання жестової мови. Зокрема, необхідно приділити увагу розпізнаванню 
елементів дактильної жестової мови, яка, в свою чергу, зображує букви алфавіту. 
Адже люди з вадами слуху використовують дактильну мову для відображення 
власних назв, імен, іншомовних наукових термінів, речовин і т.д. 

Розробці систем для розпізнавання елементів жестової мови присвячено значну 
кількість робіт, зокрема у працях (1), |2| описано системи розпізнавання жестової мови 
при використанні спеціального апаратного забезпечення. Ряд дослідників запропо- 
нували систему, яка ідентифікує жести конкретної особи |3|. Крім того, більшість 
підходів спрямовані на розпізнавання окремих ознак жестів або розпізнавання жес- 
тів, які характеризуються лише напрямком руху руки (4), (31. 

Разом з тим у процесі відтворення елементів жестової мови виникає ситуація, 
коли в жесті присутнє перекривання між пальцями або фронтальне направлення пальців 
до співрозмовника тощо. В силу цього при розпізнаванні жесту виникають труднощі 
для ідентифікації фронтально направлених пальців або областей перекривання пальців. 

У роботі |6) пропонується використовувати стереозір для вирішення даної 
проблеми. Стереозір включає в себе два процеси: співставлення деталей, які спосте- 
рігаються двома чи більше камерами, і відтворення їх тривимірного прообразу |71. 
Так, співставлення деталей що фіксуються очима людини, та використання їх відмін- 
ностей надає можливість покращити уявлення про глибину об'єкта. У свою чергу, 
відтворення тривимірного прообразу точок можна знайти як точку перетину променів, 
що проходять через зазначені точки та центри відповідних діафрагм камер. 

Метою даної роботи є використання контурного аналізу для підвищення 
ефективності розпізнавання жестів, які подібні за відтворенням жестів, у яких 
присутнє фронтальне розміщення пальців до співрозмовника, а також визначення 
межі пальців, прижатих один до одного, та ідентифікація області перекриття пальців. 

У роботі запропоновано ряд алгоритмів для ідентифікації окремих елементів 
жестів, у яких використовується попіксельний аналіз зображення, і елементів дактиля. 
Даний підхід надає можливість правильно розпізнавати дактиль і уникнути певних 
труднощів при розпізнаванні дактиля на різних фокусних відстанях. Зокрема, наведені 
алгоритми отримання контурної інформації окремих елементів дактильної мови, які 
сприятимуть підвищенню рівня правильного розпізнавання складових дактильної мови. 
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Класифікація дактилем 


Системи розпізнавання об'єктів різної природи, як відомо, повинні володіти 
множиною ознак, за якими можна класифікувати об'єкти щодо різноманітних груп. 
Зауважимо, що розпізнавання жестів можна визначити як відношення вхідних даних 
до певного класу образів за допомогою виділення істотних ознак або властивостей, 
які відділяють вхідні дані від загальної маси неїстотних деталей. У свою чергу, під 
класом образів розуміється певна категорія, яка визначається рядом ознак, спільних 
для всіх її елементів |8|. Тому запропонована у роботі |9) схема класифікації жестів 
дактильної мови потребує певної деталізації та розширення (рис. 1). 


від 0,52 до від 1,1 до 1,3 рухомі зі зміною рухомі навколо 


0,63 центра маси своєї осі 


від 0,65 до 


зі зміною комбінації кисті 
або положення пальців 


Рисунок 1 - Класифікація жестів дактильної мови 


Так, жести, які відображають букви алфавіту, в загальному випадку можна 
поділити на дві групи - рухомі і нерухомі. До рухомих жестів відносяться жести, які 
відображають такі букви, як: Д, Є, 3, Ї, Й, К, Х, Ц, Щ, Ю, Я, Ь. До нерухомих - А, Б, 
В,Г,Е,И, Ж, І, Л, М, Н, О, П,Р, С, Ф, Т, У, Ч, Ш, Я (букву Я можна відтворювати з 
рухом або без нього, тому така буква може належати до двох груп). Загалом, жест на 
відеозображенні розглядається як послідовність кадрів, на яких відбувається зміна 
форми кисті руки. 

Слід зазначити, що група з рухомих жестів поділяється на групу з жестів, що 
відтворюються зі зміною центра координат, зокрема Д, 3, К, Х, ц, щЩ, Ю,Я, і на 
групу жестів, що відтворюються навколо своєї осі, а саме - Є, Ї, Й, Б. Жести, що 


«Штучний інтелект» 3"'2010 323 


ак, Ю.В. Крак, Д.В. Шкільнюк 


відображаються зі зміною центра координат, поділяються на жести, що відтворю- 
ються з різними траєкторіями руху: д-траєкторія - Д, з-траєкторія - 3, зверху вниз - 
К, Ц, Щ, справа наліво - Х, Ю, зліва направо - Я. У свою чергу, група жестів, що 
віображається зверху вниз, поділяється на жести, що відтворюються зі зміною 
комбінації кисті, або положення пальців, наприклад, К, та без змін комбінації кисті, 
наприклад, Ц, Щ. 

Група нерухомих жестів розподіляється за відношенням ширини до висоти 
прямокутної області навколо кисті, що показує жест. Відношення ширини до висоти 
складає: від 0,52 до 0,63 -Г, А, Н, О; від0,3 до 0,38 - Б, В; від0,65 до 1,1-Е, И, Ж, 
І, Л, М, П, Р, С, Ф, Т, Ч, Ш, Я; віді, до 1,3 - У (рис. 1). 


Розпізнавання жестів 


З метою розпізнавання елементів дактиля були запропоновані окремі алгоритми 
для ідентифікації елементів жестів, у яких використовується попіксельний аналіз 
зображення та елементів жесту |9). На вхід даним алгоритмам подається область 
точок однакового кольору, що відносяться до жесту (рис. 2). Разом з тим існують 
жести, що є подібними за відтворенням, у зв'язку з чим їх важко визначити, вико- 
ристовуючи запропоновані алгоритми. 

Для вирішення даної проблеми пропонується використовувати дві веб-камери, 
об'єктиви яких розташовані перпендикулярно до області, де відтворюється жест (рис. 3). 
Але такий підхід викликає додаткові просторові обмеження для користувача, тому для 
отримання більш інформативних вхідних даних пропонується будувати контури 
кисті і пальців, що відтворюють жест. 


рЖрРР,. 


Рисунок 2 - Зразок вхідних даних для алгоритмів, Рисунок 3 - Розташування 
котрі описані в роботі |9| камер для розпізнавання жесту 
Так, нехай /(х, у) - зображення, на якому відтворено жест. Для визначення наяв- 


ності контуру в деякій області зображення можна використати градієнт яскравості: 
втаа( їх, у) - МЛ), 


де градієнт ятай(/ЇХ, у)) - це вектор, який напрямлений у напрямку найбільш швид- 
кого зростання функції /їх, у). 
Зобразимо градієнт у наступному вигляді |7Ї: 


у. (Я ду (ау 
4) Я бу УЛ, у) 2) и ду і 


2 


2 


(У"Рих,у) | 
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У випадку цифрової обробки інформації частинні похідні дй ем ; і дй но ; 
Х ія 
можна обрахувати наступним чином: 


а у)- Га, 
їх бх 


Якщо градієнт більше заданого порогу ХК, то дана точка відноситься до контуру. 
Поріг задається користувачем. При різних порогах отримуються різні контури (рис. 4). 

На основі отриманих зображень будується бібліотека еталонів для порівняння. 
Під час виконання жесту система визначає положення руки, обробляє зображення 
запропонованим алгоритмом. Отримане зображення порівнює з зображеннями з 
еталона 1 визначає, до якого класу відноситься буква. 


2 /(5)- / (5 у- 1). 


Рисунок 4 - Відтворення букви «Н». Побудова контуру жесту з різними порогами 


Розглянемо ще один спосіб для визначення контурів зображення, а саме - 
оператор Собеля. Результатом застосування оператора Собеля в кожній точці зобра- 
ження є або вектор градієнта яскравості в даній точці, або його норма. Оператор 
Собеля грунтується на згортці зображення невеликими цілочисельними фільтрами у 
вертикальному і горизонтальному напрямі, а тому його відносно легко обрахувати. 

Оператор Собеля використовує ядра 373, що дозволяє звертати вхідне зобра- 
ження для обчислення наближених значень похідних по горизонталі і по вертикалі. 
Нехай А - вхідне зображення, а С, і С, - два зображення, де кожна точка містить 


приблизні значення похідних по х і по у. Значення С. і С, обраховуються 


1 2 1 1 0 -1 
наступним чином: С, -| 0 0 0 жа, С, 212 0 -2|жА, де " означає дво- 
-1 -2 -1 1 0 -1 


мірну операцію згортки. 
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Координати х зростають «направо», а у зростають «вниз». Використовуючи 
отримані наближені значення похідних, в кожній точці зображення наближене 
значення величини градієнта можна обрахувати наступним чином: С - |С,ЯС,. 

х у 

Якщо градієнт більше заданого порога К , то дана точка відноситься до контуру. 


Поріг задається користувачем. 
Роботу запропонованого алгоритму представлено на рис. 5. 


Рисунок 5 - Використання оператора Собеля 


Таким чином, запропоновані методи надають можливість чіткіше розпізнавати 
букви, в комбінації яких присутнє фронтальне направлення пальців до співрозмовника, 
наприклад, Г (рис. б), а також букви, котрі подібні за відтворенням, зокрема букви Н, 
О, Р або ж букви Т, П, що є також подібними між собою (рис. б). 


Рисунок 6 - Вхідні дані для різних методів 


Результати експериментальних досліджень 


Для тестування розробленої системи були проведені експерименти, в яких 
приймали участь люди різного віку з різними розмірами руки, а тому вищенаведені 
алгоритми показали досить хороші результати при розпізнаванні жестів, що від- 
творюються такими користувачами на різних фокусних відстанях. 

У ході експерименту людина відтворює жест по п'ятдесят разів на різних фо- 
кусних відстанях і підраховується кількість разів, коли система правильно визначила 
жест. У табл. 1 1 2 наведено результати експериментів, що проводились без вико- 
ристання та з використанням контурного аналізу. 
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Таблиця 1 - Результати роботи системи при розпізнаванні букви Т без викори- 
стання контурного аналізу 


Фокусні відстані від камери до руки 


від 30 см до 40 см від 40 см до 60 см від 60 см до 90 см 
Кількість Відсоток Кількість Відсоток Кількість Відсоток 
оз правильно правильно | (правильно | (правильно правильно правильно 
; і розпізнаних (розпізнаних |розпізнаних |розпізнаних розпізнаних |розпізнаних 
відтворювали і : 5 : і 5 
жена жестів з 50 жестів з 50 жестів з 50 жестів з 50 жестів з 50 жестів з 50 
разів відтво- (разів відтво- |разів відтво- (разів відтво- (разів відтво- |разів відтво- 
рення рення (90) рення рення (9) рення рення(9/) 
Буква Т 
Підліток 14 років 30 60 29 58 30 60 
Підліток 16 років 33 66 33 66 32 64 
Чоловік 23 років 30 60 31 62 34 68 
Жінка 25 років 35 70 34 68 33 66 
Чоловік 32 років 31 62 30 60 33 66 
Чоловік 46 років 32 64 31 62 32 64 
Чоловік 50 років 33 66 32 64 36 72 
середнє 64 62,9 65,7 
значення 


Таблиця 2 - Результати роботи системи при розпізнаванні букви Т 
з використанням контурного аналізу 


Фокусні відстані від камери до руки 


від 30 см до 40 см від 40 см до 60 см від 60 см до 90 см 
Кількість Відсоток Кількість Відсоток Кількість Відсоток 
ан правильно правильно | (правильно правильно | |правильно | (правильно 
віворювайй розпізнаних (розпізнаних |розпізнаних (розпізнаних (розпізнаних |розпізнаних 
зей жестів з 50 жестів з 50 жестів з 50 жестів з 50 жестів з 50 жестів з 50 
разів відтво- |разів відтво- |разів відтво- (разів відтво- |разів відтво- |разів відтво- 
рення рення (У) рення рення (9) рення рення (9) 
Буква Т 
Підліток 14 років 40 80 36 72 36 72 
Підліток 16 років 38 76 37 74 36 72. 
Чоловік 23 років 39 78 36 72 35 70 
Жінка 25 років 37 74 36 72 38 76 
Чоловік 32 років 37 74 38 76 40 80 
Чоловік 46 років 36 72 40 80 39 78 
Чоловік 50 років 39 78 35 70 36 72 
середнє 76 73,7 74,3 
значення 


Отже, з наведених результатів експериментів можна зробити висновок, що 
використання запропонованого методу збільшує кількість вірного розпізнавання 
жесту, який відтворюється особами з різними розмірами руки на різних фокусних 
відстанях. Так, результативність розпізнавання зросла в середньому від 6490 до 7590 
відтворюваних жестів. Наведені результати вказують на ефективність використання 
запропонованого методу. 


«Штучний інтелект» 3"'2010 


327 


ак, Ю.В. Крак, Д.В. Шкільнюк 


Висновки 


У статті було розширено загальну класифікацію жестів дактильної мови. Опи- 
сано алгоритми для більш інформативного збору ознак жесту, що розпізнається, 
зокрема алгоритми виділення контуру об'єкта. Отримані результати, після застосування 
запропонованих алгоритмів, надають можливість чіткіше розпізнавати жести, техніка 
виконання яких є подібною. Також використання контурного аналізу дає можливість 
більш якісно розпізнати елементи дактиля, у відтворення яких входить фронтальна 
орієнтація пальців до співрозмовника, чітко визначити межу між пальцями, які при- 
жаті один до одного тощо. 

В подальшому, на основі проведених експериментів і отриманих результатів, а 
також при використанні методів скелетизації, розроблятимуться алгоритми для іденти- 
фікації жестів за допомогою скелетної моделі руки. Ідентифікація жесту за допо- 
могою скелетної моделі дасть можливість більш якісно розпізнати жести, а також 
розробити синтезатор елементів дактильної мови. 
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Ю.В. Крак, Д.В. Шкильнюк 

Анализ злементов дактильного язьтка 

В статье рассматриваются отдельньте методьт повьшиения качества распознавания злементов дактильного 
язька, в частности конкретизирована схема классификации жестов. Использованиє и реализация 
данньтх методов способствует качественному распознаванию составляющих дактильного язьтка. 


Уи. У. Ктак, Р. У. 5пКітуик 

Апаїузі5 ої КІетепіз ої Кіпоег-5іпе І апоцаре 

Тіз агіїсіє дїзси85е5 5опле тефпод5 0 шаргоує Ме дшаййу ої гесовбпійоп еЇепепіє ої дсаї Іапецаєє, іп 
рагіїсиіаг зресійед ре сіаз5ійсайоп 5спете деаї-5ідп Іапоцаєе. ТБе ішігодисіїоп апа ітріетепіайоп ої 
Фезе тефодя сопігібціез го дцайсу гесобпійоп сотро5іїє деаї-Іаприаєе. 


Стаття надійшла до редакції 19.07.2010. 


328 «Искусственньй интеллект» 3"2010 


